Predicting Privileged Information Effectiveness for On-Policy Self-Distillation
预测策略内自蒸馏中特权信息的有效性
🧭 多轮代理场景下的自蒸馏训练
University of Michigan – Ann Arbor · Mila · Scale AI
系统评估多轮代理场景下16种特权信息配置，提出KL散度指标预测其训练收益
📌 工作参考价值（4 点）
- PI 的内容与生成源比固定设计更重要：优先选择信息密度高、由更强模型生成的轨迹片段作为 PI，尤其在多轮 Agent 对话中可显著提升自蒸馏收益。
- 训练前用 KL 指标预筛 PI 候选：计算 sampled-token reverse KL (D) 与 error-step KL contrast (Δd^{-}_{err})，比直接看 PI utility 更能稳定预测训练后性能，可避免信息泄漏导致的误判。
- 当候选 PI 差异较大时，利用 Δd^{-}_{err} 为每个任务动态选择 PI，比随机选择平均提升更高；适合业务中多任务、多轨迹来源的场景。
- 自蒸馏目标可与 GRPO 等强化学习目标结合，在有效 PI 下获得比纯 GRPO 更强的性能，适合需要兼顾模仿与探索的电商 Agent 训练。